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SUR LES STRUCTURES BORELIENNES 
DU SPECTRE D’UNE C*-ALGEBRE 


par JAcgures DIXMIER 


Dans la classification des C*-algébres, on est amené A étudier certaines catégories 
de C’-algébres particuligrement intéressantes : 

1) Les GCR-algébres au sens de Kaplansky [6], autrement dit les C*-algébres 
admettant une suite de composition 4 quotients COR ; 

2) Les C’-algébres A dont le spectre A (ensemble des classes de représentations 
irréductibles de A muni d’une certaine topologie, cf. [4]) est un Tp-espace ; 

3) Les C’-algébres A de spectre lisse (= smooth dual, cf. [9]), cest-a-dire telles 
que la structure borélienne définie par Mackey sur A soit dénombrablement séparée ; 

4) Les C’-algébres de type I, c’est-a-dire celles dont toutes les représentations 
factorielles sont de type I. 

Limitons-nous désormais aux C’-algébres séparables (bien que certaines. des impli- 
cations ci-dessous ne nécessitent pas cette hypothése). Kaplansky a montré [6] qu’une 
GCR-algébre est de type I. Fell prouva ensuite que : 1) Si A est GOR, A est un T,- 
espace [5] ; 2) Si A est un Tp-espace, A est de type I (son raisonnement est signalé en 
remarque dans [3]), et A est lisse [5]. Enfin, j’ai prouvé dans [3] que, si A est un T,- 
espace, A est GCR. La situation est résumée par le diagramme suivant : 

& = A lisse 
A GCR<=A T)-espace 
A de type I 


Dans ce mémoire, nous montrerons que, si A est lisse, A est un Ty-espace. Nous 


aurons donc prouvé une partie de la conjecture de Mackey [9] selon laquelle A est lisse 
si, et seulement si, A est de type I. 

Soit A une C*-algébre séparable. Rappelons quelques points concernant la topologie 
et la structure borélienne de A. Soit H un espace hilbertien séparable. Soit Z,(A) l’en- 
semble des représentations de A dans H, c’est-a-dire des applications linéaires 7 de A 

dans ¥(H) (ensemble des opérateurs linéaires continus dans H) telles que (xy) =x(x)x(y) 
et n(x")=nx(x)" quels que soient x, yeA. On sait qu’on a ||x(x)||<||*|| quel 
que soit xeA. Munissons #,(A) de la topologie de la convergence simple forte, c’est-a- 
dire de la topologie la moins fine pour laquelle les applications —>x(x)& de 2y(A) 
dans H (xeA, €€H) sont continues. Cette topologie est identique a la topologie de 
la convergence simple faible, en vertu de l’égalité 
|| (x) E—rep( x) |? = (e(a*x)E [2)—2 Re(m(x)E | 70(%)E) + || 0(x)E ||? 
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Soit %,(A) le sous-ensemble de #y(A) formé des représentations irréductibles 
non triviales de A dans H. La topologie précédente induit sur %,(A) une topologie 7. 
Soit Z la structure borélienne sur .4,(A) sous-jacente 4 7. Soit, d’autre part, ¢ Pappli- 
cation canonique de .4,(A) dans A qui, a tout élément de .%,(A), fait correspondre sa 
classe. L’image 9(.%,(A)) est le sous-ensemble A, de A formé des classes de représen- 
tations irréductibles non triviales de A dont la dimension hilbertienne est égale a celle 
de H. (Comme A est séparable, AS n’est non vide’ que si dimH=1, 2, ..., Ny.) Geet 
posé, la topologie (resp. la structure borélienne de Mackey) induite sur As par celle 
de A n’est autre que la topologie (resp. la structure borélienne) quotient de 7 (resp. Z) 
par 9. Mais la structure de Mackey de AS évidemment plus fine que la structure 
borélienne sous-jacente 4 sa topologie, ne lui est pas en général identique, car un ensemble 
borélien de .4,(A) saturé pour l’équivalence n’est pas toujours déduit par intersection 
et réunion dénombrable d’ensembles ouverts ou fermés saturés ; par exemple, il peut 
arriver (si les seuls idéaux bilatéres fermés de A sont {0} et A) que la topologie de A 
soit la topologie la moins fine, alors que la structure borélienne de Mackey est toujours 


séparée. Nous avons donc 4a distinguer sur Ay, et plus généralement sur A, la structure 


borélienne de Mackey et la « structure borélienne topologique ». 

Il est bon de noter que léquivalence des représentations définit dans #,(A) une 
relation d’équivalence ouverte ; plus précisément, tout opérateur unitaire U dans H 
définit un homéomorphisme hy de #y(A) sur lui-méme, et la relation d’équivalence 
en question est déduite du groupe des homéomorphismes hy ; de méme dans 4,(A). 

Ceci posé, le résultat principal du présent article est le théoréme que voici : 


THEOREME 1. — Soit A une C’-algéebre s¢parable. Les conditions suivantes sont équivalentes : 
a) A est GCR ; 

b) A est standard ; 

c) La structure borélienne de Mackey sur A est dénombrablement séparée ; 

d) La structure borélienne de Mackey sur A est identique a la structure borélienne topologique. 


Le schéma de la démonstration est le suivant : 


a?) ss 
lo 


b)=>c) est évident. 
a)=>d) résulte de [5]. 


d)=>c) : supposons la structure borélienne de Mackey &, sur A identique a la 
structure borélienne topologique &,. La structure &, est séparée [9]. La structure Z&, est 


dénombrablement engendrée puisque la topologie de A admet une base dénombrable [5]. 
Donc 4,=&, est dénombrablement séparée. 
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a)=>b) : supposons que A soit GOR. II existe alors [6] une suite de composition 
croissante bien ordonnée (I,),-p de A telle que les I, ,4/1, soient des CCR-algébres non 
nulles dont le spectre est localement compact. Pour tout eeP, soit %, un-pomtde I; 
dont la distance a I, soit >1. Si o>o’, ona ||*,—x, ||21. Comme A est séparable, 
P est nécessairement dénombrable. D’autre part, soit U, le spectre de I,, qui s’identifie 
A une partie ouverte de A. Les U, forment une famille croissante bien ordonnée pour 
Pinclusion de parties ouvertes de me et Pune de ces parties est Aeie spectre de ToL, 
s'identifie 4 U,,,—U,=V,, et espace topologique V, est localement compact a base 
dénombrable. Les V, sont évidemment deux A deux disjoints. Leur réunion est A ; en 


effet, soit meA ; soit e le plus petit indice tel que neU.; pour o<p,. on a meUs 
donc le noyau N de x contient I, ; si 9 était un ordinal limite, on en conclurait que No ie. 


d’ot meU,, ce qui est absurde; donc p est de la forme o’+1; et on a ReVen 
Comme a)=>d), la structure borélienne de Mackey sur A est identique a la structure 
borélienne topologique ; nous pouvons donc parler de parties boréliennes de A sans 
préciser. Comme P est dénombrable, une partie B de A est borélienne si et seulement si 
les parties Bn V, sont boréliennes. Donc, l’espace borélien A est la somme des espaces 
boréliens V,. Comme I’espace topologique V, est localement compact 4 base dénombrable, 
Pespace borélien V, est standard, donc [9] l’espace borélien A est standard. 
Il reste 4 montrer que ¢c)=a), ce qui nécessitera plusieurs lemmes. 


LemME 1. — Soit H un espace hilbertien séparable. L’espace topologique By(A) est polonars 
(i.e. [1] sa topologie se déduit d’une distance pour laquelle By(A) est séparable complet). 


Soit Y,(H) Pensemble Y(H) muni de la topologie forte. Il est quasi-complet 
({2], chap. III, § 3, cor. 2 du th. 4). Soit Y,(A, Y,(H)) espace des applications linéaires 
continues de A dans #,(H), muni de la topologie de la convergence simple. Toute 
partie équicontinue et fermée de #,(A, Y,(H)) est un sous-espace uniforme complet 
de #,(A, #,(H)) ([2], chap. III, § 3, th. 4). En particulier, ensemble des applications 
linéaires x de A dans ¥,(H) telles que ||x(x)||<||*|| pour tout xeA est un 
sous-espace uniforme complet B de ¥,(A, #,(H)). Soit (x;);-; une suite totale dans A 
telle que ||x;||<1 pour tout i. Soit (é,);-s une suite totale dans H telle que ||&||<1 
pour tout j. La structure uniforme de B admet pour systéme fondamental d’entourages 
ensemble des entourages définis par les inégalités 


[Im e)&—*' EI <5 geltel tte 


Cette structure uniforme est donc métrisable. L’application m—>(x(%;)&)ie1,jes de B 
sur un sous-espace de H!'*" est bicontinue, donc B est séparable. Bref, B, muni de 
la topologie de la convergence simple forte, est un espace polonais. Enfin, #y(A) est 
ensemble des x¢B tels que x(xy) =x(x)z()), n(x") =x(x)" quels que soient x, yeA. 
La deuxiéme condition équivaut 4 la condition (x(x")&|n) =(E|x(x)n) quels que 
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soient xeA, &, 7¢H. On voit donc que #y(A) est un sous-espace fermé de B, donc est 


un espace polonais. 


LEMME 2. — Soient E et F deux espaces de Banach séparables, M un espace topologique, m—>U,, 
une application continue de M dans &,(E, F) (ensemble des applications linéatres continues de E 
dans F, muni de la topologie de la convergence simple). Soit n un entier. L’ensemble des meM 


tels que codim U,,(E)<n est un Gs de M. 


Il suffit de reprendre la démonstration de [8], p. 202, 1. 1-17 du bas, en remplagant 
assertion « est mesurable » a la 1. 11 (resp. 5) du bas, par « est ouvert » (resp. « est 
un G; »). 

Soient A une C’-algébre, H un espace hilbertien, et 7, ’¢#,(A). Rappelons 
qu’on appelle opérateur d’entrelacement de x et 7’ un élément T de #(H) tel que 
n(x)T =Tx'(x) quel que soit xeA. La dimension de l’espace vectoriel des opérateurs 
d’entrelacement de x et 7’ s’appelle le nombre d’entrelacement de x et x’ et sera 
noté @(n, 7’). 


LEMME 3. — Soient A une C'-algébre séparable, H un espace hilbertien s¢parable, et M un 
espace topologique. Soient mM—>Tn, m—>t,, deux applications continues de M dans #y(A). 
Soit n un entier. L’ensemble des meM tels que € (Ty T,) <n est un Gs de M. 


Nous utilisons la démonstration de [8], p. 202, 1. 11-26, mais il est nécessaire de la 
modifier légérement. Soit Z(H) l'ensemble des opérateurs tracables dans H, muni de 
sa structure naturelle d’espace de Banach : si SeZ%(H), la norme de S dans 7 (H) 
est ||S||,=Tr(abs S), of abs S=(S"S)*”, Alors Y(H) s’identifie au dual de 7(H), 
la forme bilinéaire canonique sur 7(H)x#(H) étant <S, T>=Tr(ST). Soient 
(%;);ex une suite totale dans A telle que ||x;||<1 pour tout 2, (&),-; une suite 
totale dans H telle que [|&||<1 pour tout j. Soit X Vespace de Banach des 
familles (Aj):cr, jes, ney Ge nombres complexes bornés. Pour tout meM, soit V,, l’appli- 
cation linéaire continue de #(H) dans X définie par 


VCD) = (( (ten (%;) T— Tre (i) | Ee) ser, ges, nese 


Alors, &(x,,, ™,) est la dimension du noyau de V,,. L’espace de Banach X est le dual 
de Pespace de Banach Y des familles (1); e1,;e3,,¢3 de nombres complexes telles que 
[I (Hine) [= Zier jesxes|Min|<+oo. Pour TeY(H) et (usp) EY, on a 

= (rise) » Val) >= Dist Liga (7.,4(%) L—T rr), (%,)) EE) = Dist Lig (TE; |r n(% ep) Dee) é,| ay) 
Etant donnés deux vecteurs y et C de H, notons R(y, ¢) Popérateur E>(E|C)y. On a 
IR; %) [h=[In]|-[[€l], et, pour tout Te £(H), 


TrTR(n, 6) = (TR, 0)¢|¢) = (Ty |Z). 
Donc 
= (Ueiine)s Vi(T)> = Vig. Mig Lr (TR( i Temn(;) &,) — TR (x0}, (%;) a En) 
SS <Digy Big (R( a Tm (%5) &,) —R (a0), (x) Ei Eels 
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Ainsi, V,, est application linéaire transposée d’une application linéaire continue U,, 


de Y dans 7 (H), définie par 
Un (eiin)) = Diijn Mijn (R( jo 7 (Xj x; )E,) — R(xj,(x x;) Ej E,)) 


et &(z,,, ™),) est la codimension de U,(Y). Pour prouver le lemme 3, il suffit, en vertu du 
lemme 2, de prouver la continuité de l’application m>U, aerM danse 7(Y:.7 (H)) 
muni de la topologie de la convergence simple. Pour (uix,.) €Y fixé, montrons donc 


que Dy pen(R(E;, M(x; )E,) R(x), (x ‘)&;, &.)) 7 (H) dépend continiment de m. Comme 
[| vin (R(E;, Tem (X, %;)&) —R (x; ni %;)Ei, &)) [|r <2 | Min |s 


il suffit de montrer que chaque terme R(E,, z,,(x;)&,), R(x;,(x;)&). &,) dépend continiiment 
de m. Or, les applications m—r,,(x;)é; et m—>T,,(x;)&; de M dans H sont continues, et 
Papplication (7, C)+>R(y,¢) de HxH dans Z(H) est continue en vertu de Végalité 
IRQ: &) lh=Ilall-lISlh 


LEMME 4. — Soient A une C*-algébre séparable, H un espace hilbertien séparable. L’ espace 
topologique %4(A) des représentations irréductibles non triviales de A dans H est polonais. 


L’ensemble des représentations irréductibles de A dans H est l’ensemble des 
ecA,(A) telles que @(9,e)<1. Appliquons le lemme 3 en prenant M=4&,(A), 
T,=T,=e pour toute pe#,(A). On voit que cet ensemble est un G, dans #y(A). 
Cet ensemble, éventuellement privé d’un point (la représentation triviale lorsque 
dim H=1r) n’est autre que .4,(A). Donc .4,(A) est un G; dans l’espace polonais #y(A) 
et par suite est polonais ([1], § 6, th. 1). 


LEMME 5.— Sozent A une C’-algébre séparable, H un espace hilbertien séparable, et 7) €44(A). 
Lensemble des m€4%,(A) qui sont équivalentes a m2 est un F, dans %,(A). 


Considérons l’ensemble des t¢¥#y(A) telles que &(x, x) <0. D’aprés le lemme 3, 
c’est un G,; dans #,(A). Donc, l'ensemble des ~¢.%4(A) inéquivalentes a x est un G3 
dans .4,(A). D’ot le lemme. 


Lemme 6. — Soient A une C*-algébre primitive séparable, H un espace hilbertien séparable de 
dimension infinie, et S une partie fermée de %,(A), saturée pour Péquivalence, distincte de Fy(A). 
Alors F est rare dans %4(A). 


(Rappelons [1] qu’une partie d’un espace topologique est dite rare si son adhérence 
est sans point intérieur, maigre si elle est réunion dénombrable d’ensembles rares.) 

Soit BCA Llensemble des classes de représentations irréductibles de A de noyau {o}. 
Cet ensemble est non vide puisque A est primitive, et tout point de B est partout dense 
dans A. Si une représentation de B est de dimension finie, A est de dimension finie, et le 
lemme est trivial car .%,(A) =@. On peut donc supposer BcA,. Soit F=o(S) image 
canonique de dans Aw C'est une partie fermée dans A,» distincte de Ay. Soit U Pinté- 
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rieur de F dans Ay. Si U+@, tout point de B appartient a U, donc U =A, et, F=AR, 
contrairement a ’hypothése. Donc F est rare dans Ay, de sorte que est rare dans 4,(A). 


Lemme 7. — Soient A une C*-algébre primitive séparable, H un espace hilbertien séparable de 
dimension infinie, et B une partie borélienne de %,(A), saturée pour Véquivalence. Alors, B est 


maigre ou de complémentaire maigre. 


Soit D(#) ensemble des te-4%,(A) telles que tout voisinage de x rencontre @ 
suivant un ensemble non maigre dans .4,(A). Puisque l’équivalence est définie par un 
groupe d’homéomorphismes de .4,(A), D(A) est saturé pour l’équivalence. D’autre part, 
il est clair que D(F) est fermé. D’aprés le lemme 6, D(#) est rare ou égal a 4%,(A). 
Enfin, la différence symétrique de # et D(#) est maigre ([7], §§ 10-11). Si D(#) =. 4,(A), 
le complémentaire de # dans %4(A) est maigre. Si D(#) est rare, # est la réunion d’un 
ensemble maigre et d’un ensemble rare, donc est maigre. 


Lemme 8. — Soient A une C'-algébre primitive séparable, H un espace hilbertien séparable de 


dimension infinie. On suppose la structure borélienne de Mackey sur As dénombrablement séparée. 
Alors toutes les représentations irréductibles de noyau {0} de A sont équivalentes. 


Par hypothése, il existe une suite @,, B,, ... de parties boréliennes de .4,(A) 
saturées pour l’équivalence et telles que toute classe d’équivalence @ dans -%,(A) soit 
Pintersection des #,; qui la contiennent. Si @ est maigre, les #; contenant @ ne peuvent 
étre toutes de complémentaires maigres (sinon, @ serait maigre et de complémentaire 
maigre, contrairement au fait que -%,(A) est un espace polonais). Donc, compte tenu 
du lemme 7, @ est contenue dans une &; maigre. Si toutes les classes d’équivalence 
dans .4,(A) étaient maigres, %,(A) serait donc réunion de celles des parties Z; qui sont 
maigres, contrairement au fait que .4,(A) est un espace polonais. Donc, il existe une 
classe d’équivalence @ dans .4,(A) qui est non maigre. Or, €=F,uF,u..., orles F; 
sont fermés dans .4,(A) (lemme 5). Les ¥; ne peuvent étre tous rares. Donc  contient 
une partie ouverte non vide Y. Le saturé de Y est nécessairement @ (puisque @ est une 


classe d’équivalence), donc @ est ouverte. Donc, il existe dans Ay un point ouvert 6. 


Reprenons l’ensemble BcA des classes de représentations irréductibles de A de noyau {o}, 
ensemble considéré dans la démonstration du lemme 6. On peut supposer A de dimension 


infinie (sinon le lemme est trivial), et on a alors BcA,. Comme B est partout dense 
dans Ay et que {go} est ouvert, on a p,€B. En outre, la topologie induite sur B par 


celle de A est la topologie la moins fine ; donc B= {o)}, ce qui prouve le lemme. 


Fin de la démonstration du théortme 1. Soit A une C’-algébre séparable, et supposons | 


la structure borélienne de Mackey sur A dénombrablement séparée. Soit I un idéal 
primitif de A. Alors (A/I)* s’identifie 4 une partie fermée de A. II est immédiat que la 
structure borélienne de Mackey sur (A/I)* est induite par celle de A, donc est dénombra- 
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blement séparée. D’aprés le lemme 8, toutes les représentations irréductibles de noyau I 


de A sont équivalentes. Autrement dit, A est un Ty-espace, de sorte que [3] A est GCR. 


REMARQUE. — Soit G un groupe localement compact séparable. Si la structure 
borélienne de Mackey sur le dual G de G est dénombrablement séparée, le th. 1 montre 
que G est standard et que la structure borélienne de Mackey n’est autre que la structure 
borélienne sous-jacente a la topologie de G. 


Les résultats du_présent article ont été aussi obtenus par James Glimm, dans un 
mémoire a paraitre. 
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OPERATEURS DE RANG FINI 
DANS LES REPRESENTATIONS UNITAIRES 
par Jacques DIXMIER 


INTRODUCTION 


Soient G un groupe de Lie semi-simple connexe, K un sous-groupe compact 
maximal de G, et une représentation unitaire continue topologiquement irréductible 
de G dans un espace hilbertien H. On sait ([5] et [6]) que si x est un caractére de K 
identifié 4 une mesure bornée sur G, l’opérateur 7(y) est de rang fini. De ce fait, on peut 
déduire [5] des propriétés intéressantes des idéaux de L!(G) associés A ~ (noyau de x 
dans L(G), annulateurs dans L(G) des éléments de H). 

Etant donné un groupe localement compact G, nous envisagerons la propriété 
suivante : 

(P) L’ensemble des feL'(G), telles que x(f) soit de rang fini pour toute repré- 
sentation unitaire continue topologiquement irréductible x de G, est partout dense 
dans L}(G). 

Le théoréme rappelé plus haut entraine aussit6t qu’un grcupe de Lie semi-simple 
connexe posséde la propriété (P). Le premier but de ce mémoire est de montrer qu’un 
groupe de Lie nilpotent connexe G la posséde aussi. On sait déja [2] que, si feL*(G), 
et si = est une représentation unitaire continue topologiquement irréductible de G, 
Popérateur x(f) est compact. Pour passer de 1a a la propriété (P), nous établissons 
existence d’un « calcul symbolique » dans L1(G) : si feL'(G) et si @ est une fonction 
analytique dans un voisinage du spectre de f vérifiant 9(0)=o0, on sait bien d’aprés 
la théorie générale des algébres de Banach, qu’on peut définir un élément ¢ {f}eL*(G) ; 
moyennant quelques conditions sur f, nous montrons ici qu’on peut encore définir 9 { f} 
lorsque ¢ satisfait 4 des conditions convenables de différentiabilité. On utilise pour cela 
une intégrale vectorielle de Fourier déja considérée par G. E. Silov dans [13], et utilisée 
récemment par P. Malliavin [12] dans le cas ou G est abélien discret ; le point essentiel 
est de majorer la croissance a l’infini de la fonction de variable réelle A->||e"™ || (cf. ci- 
dessous pour les notations). : 

Le second but de ce mémoire est de développer quelques conséquences de la 
propriété (P). On verra par exemple que, si G posséde la propriété (P), deux représen- 
tations unitaires continues topologiquement irréductibles de G, qui ont méme noyau 
dans L1(G), sont unitairement équivalentes. 
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NorTATIONS 


Si G est un groupe localement compact, on choisit une fois pour toutes une mesure 
de Haar invariante a gauche sur G, et L?(G) est l’espace de Banach des fonctions complexes 
de puissance p-iéme intégrable sur G pour cette mesure ; on désigne par || ||, la norme 
dans cet espace. On désigne par L(G) lalgébre de Banach déduite de L1(G) par adjonc- 
tion d’un élément unité. On note * le produit de convolution. Si feL'(G), on pose 
fi afafe ... #f (n facteurs), = D (n!)tfeL4(G), et f(s) =f(s?) A(s) (ob A est 
le module de G) ; on sait que fof est une involution isométrique de L1(G). On 
note R l’ensemble des nombres réels, C l’ensemble des nombres complexes. Si ¢ est une 


i Ms 
o 


fonction complexe intégrable de variable réelle, on pose 


(Fe) (9) = fe Mol(a)de. 


§ x. Les puissances d’une partie compacte dans un groupe de Lie nilpotent. 
Soient g une algébre de Lie nilpotente sur R, et G le groupe de Lie simplement 
connexe correspondant. Rappelons que la formule de Hausdorff xy=x-—+y+ = [x,y] + .. 


dans g ne comporte qu’un nombre fini de termes non nuls, que la loi de composition 
(x, y)—>xy définit sur g une structure de groupe, et que l’application expanse. de g 
sur G est un isomorphisme pour cette structure de groupe. 


LEMME 1. — Sozent g une algébre de Lie nilpotente sur R de dimension n, et (Go G1 - + -> Gn) 
une suite décrotssante d’idéaux de g de dimensions n, n—1, ..., 0. Soit (e€,, ..., €,) une base de g 
telle que (€;4 4) G49) +++) €,) soit une base de g;. St x, » sont deux éléments de g de coordonnées 


(Xq5 2-03 %)> (Its ++ +sIn), les coordonnées (z,,...,2,) du produit de Hausdorff z=xy sont 
fournies par des égalités de la forme 


(1) £5= 5 +i Blt Disus a2 Meee) 


ou les P; sont des polynémes indépendants de x et_y. 


Le lemme est évident pour n=1. Supposons-le établi pour les algébres de Lie 
nilpotentes de dimension n—1. Appliquant cette hypothése de récurrence A G/Gn—1 
on voit qu’on a des formules du type (1) pour i=1, 2, ..., m—1. D’autre part, g,, est 
dans le centre de g puisque g est nilpotente. Donc, dans la formule de Hausdorff 
xy=x+y +(x, y), (x,y) ne dépend que des classes de x et y modulo g,- Ainsi, 
Zn —*n—Jn est la n-iéme coordonnée de O(x,e, +... +%, 16 4) ie --- ae ee 
c’est-a-dire un polynéme en x, 9, ..., X24) Ina Doty le lemmes 

Dans le lemme 2, nous conservons les notations du lemme 1. En outre, si xeQ, 
nous noterons systématiquement x,,..., x, ses coordonnées, et nous poserons 


[Ix] =sup(||, ..-5 |*,[)- 
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15 
LEMME 2. — Soit H une partie compacts de q. Considérons les ensembles He He See 
(ot H” se définit relativement au produit de igemer diel de q). Il existe un entier N, Grae de g 
mais Vis de Hi, tel que sup,cym||x||=O(m™®) quand m->-+ oo. 


Le lemme est évident pour n=dim g=1. Supposons-le établi pour les algébres 


de Lie nilpotentes de dimension n—1. Appliquant cette hypothése de récurrence a g/g, 4, 
on voit quil existe des constantes A>o, «>o, telles que 


(2) supren” (sup(|a |, ---5 |%—1|)) < AC +m). 


En outre, la constante « est indépendante de H. D’autre part, il existe des constantes 
B>o, B>o, indépendantes de H, telles que 


(3) [P13 as ++ +> ®n—1» In—1) |< Blt +sup([ai|, Lif, ++) [al n—al)) 
Posons f(m) =sup,cy™ |{x||. Si xeH", on a x=x'x" avec x’cH"—', x’’cH. Alors 
sup(|xj|, -- +» [a,—1|) < A(z + (m—1)") 
d’aprés (2). Compte tenu de (3), on a (en posant sup,cy ||*|| =a) 
(4) [4p | = [ent PCat y's +s May Mis) | 
< |x, |+a+B[1+a+A(1+ (m—1)*%)]® 
<f(m—1) +a+Blx +a+A(1 + (m—1)%)]*. 
Rapprochant ceci de (2), on voit que 
f(m) <f(m—t) + P(m), 
ou P est un polynéme dont le degré est indépendant de H. Donc 


f(m) < f(t) + P(2) + P(3) +... + P(m), 


et le second membre de cette inégalité est, comme il est bien connu, un polyndme en m 
(dont le degré est indépendant de H). D’ot le lemme. 


LEMME 3. — Soient G un groupe de Lie nilpotent connexe, la mesure de Haar de G. 
Il existe un entier N, ne dépendant que de G, tel que, pour toute partie compacte H de G, on ait 
u(H”) =O(m%) quand m>-+ 0. 


Supposons d’abord G simplement connexe. Identifions alors G a son algébre de 
Lie g muni du produit de Hausdorff. On a 


»(H”) = frost vs UP a Sa eae 


ou P est un polynéme ([2], lemme 1d). L’existence de Ventier N du lemme 3 résulte alors 


aussit6t du lemme 2. 
Passons au cas général. Soit G’ le groupe de recouvrement universel de G. Soit 9 


application canonique de G’ sur G. I existe une partie compacte H’ de G’ telle que 
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o(H’) =H. Alors, o(H’) =H” pour tout m. Soit y’ la mesure de Haar de G’. Pour 


une normalisation convenable de pu et yp’, on a 
w(H™) = f, P(g) de(e) 


ou p est une fonction a valeurs entiéres sur G, majorant I sur H”, Done n(H")=07r*); 
et il suffit d’appliquer la premiére partie de la démonstration. 


§ 2. Calcul symbolique dans l’algébre L' d’un groupe de Lie nilpotent. 


Pour tout teC, posons u(t)=e—1. La fonction u est entiére et s’annule a 
lore) ax” 
Vorigine. Donc, si A est une algébre de Banach et si «eA, élément u(x) = 2 at existe 
ay, E 
dans A. Nous appliquerons ceci : 


1° Au cas ot A est une algébre uniformément fermée d’opérateurs dans un espace 
hilbertien ; 
2° Au cas ot A est l’algébre L! d’un groupe localement compact. 


Lemme 4. — Soient H un espace hilbertien, T un opérateur hermitien continu dans H. 
Onaaucl ach) ie 
poit, 1 — [ aE la décomposition spectrale de T. On a 
T=: 
uCDucly = af *" l(a) PdE;. 


ice) 


Or |u(a)|?=|e*—1|?< pour tout AER. Donc 
+ 


u(T)u(T)*< fie. 


x 


dE, =T*. 


LEMME 5. — Sovent G un groupe localement compact unimodulaire, et f un élément de 
L(G)nL(G) tel que F=f. Alors, u(f)eL'(G)aL2(G) et |lu(f)|b<If le 


On sait que L'(G)nL*(G) est muni de manieére naturelle d’une structure d’algébre 
hilbertienne. Soit WcL*(G) Valgébre hilbertienne achevée déduite de L1(G)nL?(G). 
(Pour cette notion, et pour les propriétés utilisées des algébres hilbertiennes, cf. par 
exemple [3], chapitre I, §§ 5 et 6). Soit A l’algébre de von Neumann associée 4 gauche 
aU. Soit x+L, lapplication canonique de & dans A. Soit » la trace naturelle sur A* 
définie par &. Rappelons que les opérateurs de A « de carré tracable » pour o forment 
un idéal bilatére de A, que ce sont exactement les opérateurs de la forme L, avec xeU, 
et que 9(L,L;)=||x|/? pour xeM. Pour geL(G), nous noterons aussi L, Vopé- 
rateur de convolution 4 gauche par g dans L?(G) (notation cohérente avec la précédente 
si geL'(G)nL(G)). Comme ||L,||<||g||, pour geL4(G), ona Ly =4(L,) cA. 
Comme f=f, Popérateur L, est hermitien. D’aprés le lemme 4, Lyla < Li. Or Li 
est tragable pour ¢, donc ([3], chapitre I, § 1, proposition 10) LyjLig est tragable 
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pour 9, autrement dit L,) est de carré tragable pour g. Par suite, il existe un aeQ 
tel que Ly»=L,. Pour tout xeL4(G)n L(G), ona 

u( f)*x=Lyyx= Lx =aex. 
Prcnons la fonction x positive, d’intégrale 1, nulle en dehors d’un voisinage de plus en 


plus petit de l’élément neutre. Alors «(f)*x tend vers u(f) dans L(G), et axx tend 
vers a dans L*(G). Donec u(f)=ael?(G). En outre 


[HAD |p = (LaLa) < (Lj) = [LIL 
LEMME 6. — Soient G un groupe ip toa compact unimodulaire, e son élément neutre, 
usa mesure de Haar, A une partie mesurable de G telle que ecA, et f une fonction de L4(G)nL2(G) 
nulle hors de A, telle que f= J. On suppose qu il existe un entier N tel que w(A")=O(n®) quand 
n—>-+ oo. Alors, dans TUG), 
er = O(a *4) 
quand |A|>-+ 0. 


En multipliant f par un scalaire convenable, on peut supposer || f ||;<1. Soit n un 
entier >o. Ona 


[le(nf) Ih = yea (nf))( (x) [det fr iw alu (u(nf)) (x) | dx. 


Compte tenu du lemme 5, 
Saws Lulnf)) (a) | es (fies | CWA) CH) Pe) (figs a Tee) 
< || u( (nf) ) He (u (Ae Hy) W2—< aed (A”—1)) Pe =O(n he 


D’autre part 


YD (ply-tirar f(x) | de 


ue antl (4 (x) |ae= f_ Noe eam 


Or f*? est nulle hors de A’. Comme e€A, ona AcA’c... Donc f, f?, ...,f— sont 
nulles sur G—A"~*. Donc : 


A ox s| (ulnf)) (2) | de 
(oa) ni 


< ah (p!) *n’< (n) i= O (n™ e"(n®)—™ en") 


E (plytienrp? 
p=" _ 


as =O(n nt Ces) 


donc tend vers o quand n+. Ainsi, ||u(n/) [|,=O(n*t*) quand n>+ 0. Dési- 


-gnons par [A] la partie entiére d’un nombre réel A ; on a 


els [feels [ee On 
< (1+ |[u([ALf) [hel =O(/ PI) =a) 
quand |A|—-+ oo. 
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REMARQUE I. — Quand G est un groupe abélien discret, le lemme 6 a été établi 
dans [11], page 67, lignes 15-18, grace 4 un calcul explicite utilisant les fonctions de Bessel. 

REMARQUE 2. — On ne peut, dans le lemme 6, prendre pour f une fonction quel- 
conque de L(G) telle que fee (cf. [9], lemme 5). 

LemMME 7. — Soient G un groupe de Lie nilpotent connexe, N un entier possédant la pro- 
priété du lemme 3, et f une fonction de L(G) L?(G) a support compact, telle que f =f. Soit 
t->o(t) (—co<t<-+ 00) une fonction complexe admettant des dérivées d’ordre <N +-3, continues 
et intégrables sur R. 


i. Dintégrale — — f* 7% oni (Fo) (rA)da converge absolument dans L(G) vers un élément 


otf}. Si p(o)=0, ona e{f}eL'G 


ii. Sott = une représentation unitaire continue de G. Ona 
(ot F}) =9(n(f)) 

ot o(x(f)) est défini par le calcul opérationnel usuel sur P opérateur hermitien x(f). 

iii. Si @(t)=0 pour lé]<||flh, oma otf}=f. 

Les hypothéses faites sur ¢ entrainent l’existence d’une constante A telle que 

| (Fe) (A) |< ACr+ ahr?) 
quel que soit AcR. Alors, compte tenu du lemme 6, 
[le [a | (Fp) (A) |< AMA [APPT ) (2+ [a [h*9) 

donc l’intégrale définissant 9 {f} est bien absolument convergente dans LUG Si 
p(0)=0, ona f°" (¥9)(4)=0, dot 


== fu N0)(F¢)a)dreL1G). 
Ceci prouve (i). 


—_ 
Comme zx est une représentation continue de L1(G), on a 


ease [Lae (Fearon 


(ee) 


I +00 in. (f) 
= nF) (A) dd. 
ao fr Fo) 0) 
Or, cette intégrale opératorielle est égale a o(x(f)) ; en effet, si vest un caractére de 
la C’-algébre commutative engendrée par 1 et x(f), le nombre x(x(f)) est réel et ona 
‘ +O anf) i ee alse 
A [en Fe\ayn) = 1 "(en F—) oO) 
I +0 


=Fn hw CF e) A) A= o(X(e(f))) =x(0(a(f)). 


Ceci prouve (ii). 
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Enfin, supposons (¢)=¢” pour ltl< [If | |, Soit : égulié 
, ret [IJ ly. Soit ~ la représentation réguliére 
de G dans L(G). On a. |Ix(f)|I<|[fll» done o(n(f))—=x(f)". D’aprés (ii), ceci 
sécrit m(e{f}) =n(f?), dou o{ft}=f? puisque x est fidéle sur L(G). 


O35; Opérateurs de rang fini dans les représentations des groupes de Lie 
nilpotents. 


LEMME 8. — Sott t+ (t) (—coo<t<+ 0) ume fonction complexe admettant des dérivées 
@ ordre <r continues et intégrables sur R, telle que o(t)=t't* dans un voisinage de o. Pour 


tout e>0, il existe une fonction complexe t->o(t) (—ao<t<-+ 0) possédant les propriétés 
sutvantes : 


1° o(t)=go(t) pour |t|>1 ; 
2° o(t)=0 dans un voisinage de o ; 
3° @ admet des dérivées d’ordre <r continues et intégrables sur R ; 


4° | (t)—@)(t)|<e quels que soient t et «=0, 1, ..., 7. 


Soit aun nombre tel que o<a<r et tel que ¢(#)=#*' pour |t|<a. II existe 
une fonction ) définie sur [—a, a], nulle dans un voisinage de 0, admettant des dérivées 
d’ordre <r continues, et telle que |p'(#)—(’*1)™| <e pour |t|<a et o<a<r. 
(Ceci est évident pour r=o, et on passe de r 4 r+1 en remplagant ¢ par la fonction 


t+>(r+1) dé ‘Y(t)dt). On définit alors ¢ de la maniére suivante : 


1° o(t)=$(¢) pour |t| <a; 

2° e(t)=9(¢) pour |i] >1; 

3° On « raccorde » convenablement dans les intervalles [—1, —a] et [a, 1]. 

Soit maintenant G un groupe localement compact. Soit I l’ensemble des feL'(G) 
telles que x(f) soit de rang fini pour toute représentation unitaire continue topologique- 
ment irréductible x de G. II est clair que I est un idéal bilatére de L*(G) stable pour 
Vinvolution f>/. 

TutoriMe 1. — Tout groupe de Lie nilpotent connexe G posséde la propriété suivante : 


(P) L’idéal bilatere I est partout dense dans Li(G). 


a. Soit N un entier possédant la propriété du lemme 3. Soit E ensemble des 
fonctions fde L1(G)nL*(G) a support compact, telles que f= f. Soit E’ Pensemble des 
fonctions complexes t—>@(t) (—0<t<-+ co), nulles dans un voisinage de 0, admettant 
des dérivées d’ordre <N-+ 3 continues et intégrables sur R. Soient feE et geF’. 
On a ¢{fteL'(G) (lemme 7 (i)). On va voir que e{f}el. Soit x une représen- 
tation unitaire continue topologiquement irréductible de G. L’opérateur m(f) est 
hermitien et compact ([2], corollaire 3 du théoréme 1). Puisque ¢ s’annule dans un voisi- 


nage de 0, @(x(f)) est de rang fini. Or 9(x(/)) =n({f}) (lemme 7 (ii)). 
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b. Soit V un voisinage de l’élément neutre e de G. Nous allons montrer qu’il existe 
une fonction positive non négligeable de L(G), 4 support contenu dans V, et adhérente a I. 

Il existe un voisinage compact W de e tel que Wt4cV. Soit f une fonction 
positive non négligeable de L'(G)nL*(G) & support contenu dans W, telle que f =e 
Soit t+9,(t) (—o<t<-+ 0) une fonction complexe admettant des dérivées d’ordre 
<N-+3 continues et intégrables sur R, telles que 9 (#)=#*** pour |¢|<||f||; Ona 
oof f}=f'%*" (lemme 7 (iii)), donc gp{f} est une fonction positive non négligeable 
de L‘(G) A support contenu dans V. Reste 4 prouver, ce qui établira notre assertion, 
que o{f}el. 

Soit «>o. D’aprés le lemme 8, il existe une geE’ telle que 9(¢)= g(t) pour 
|t|>1 et telle que |¢'*(¢)—o(¢)|<e pour tout ¢ et pour «=o, 1,...,N+ 3. Alors 


2m lleofA—eh=ll fe Feo— Fe) Malh 
< ft" lel Fee —F 9) 0) [dr 


Or |lé"||,<A(1+|a|%t*), ot A est une constante indépendante de e. D’autre part, 


(1++9°)(1+]A|***) | (Foo a A) | 
<|F (o—¢) (A) | + | F(95'— 9") (A) | + | F (oo #9 — #9) A) | 
+|F (@f' +o" *9) @)| som, 
quel que soit A ; donc 


2 r|lot—elAlh< (22 Aer +2”)—'d = 2 Aen. 


Or e{ftel d’aprés la partie (2) de la démonstration. Donec g{f}el. 

c. Soient geL'(G) et e>o. Il existe un voisinage V de e dans G tel que, si A est une 
fonction positive de L'(G) d’intégrale 1 4 support contenu dans V, on ait ||g—gxh ||, <e. 
D’aprés la partie (b) de la démonstration, on peut choisir hel. Alors gxhel. Ceci 
prouve que I est partout dense dans L‘(G), d’ot I =L*(G). 


§ 4. Irréductibilité topologique et irréductibilité algébrique. 


Les théorémes 2, 3 et 4 ci-dessous seront établis pour les groupes localement compacts 
satisfaisant a la propriété (P). Cette classe de groupes contient les groupes de Lie nilpotents 
connexes d’aprés le théoréme 1. Elle contient aussi les groupes de Lie semi-simples 
connexes (cf. [6], lemme 33, et [5], théoréme 2 et démonstration du théoréme 7), ainsi 
que les « groupes de mouvements » (cf. [5], théoréme 5 et démonstration du théoréme a8 
c’est-4-dire les groupes de la forme K.N, ot K et N sont des sous-groupes (non nécessaire- 
ment distingués) respectivement compacts et abéliens. 

Pour les groupes semi-simples et les groupes de mouvements, les résultats (i), (ii), 
(iii) ci-dessous se trouvent essentiellement dans [5], pages 512-515 ; toutefois, la définition 
utilisée dans [5] du sous-espace H’ fait intervenir un sous-groupe compact de G. 
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THEOREME 2. — Sotent G un groupe localement compact possédant la propriété (P), = une 
representation unttaire continue topologiquement irréductible de G dans un espace hilbertien H, et J 
ensemble des feL(G) telles que x(f) soit de rang fini. Sott H' lensemble des combinaisons 
linéarres des éléments de la forme x(f)£, ou & EH et SéJ. 

i. H’ est partout dense dans H’; 

li. H’ est stable pour les opérateurs-r(s) (s€G), et aussi pour les opérateurs =(f) (feL(G)). 
Pour feLi(G), notons x'(f) la restriction de x(f) aH’; 

li. H’ est le plus petit sous-espace vectoriel non nul de H stable pour les opérateurs x(f) (feJ). 
En particulier, la représentation x' de Li(G) dans H' est algébriquement irréductible. 


iv. L’ensemble des opérateurs x(f), ot fe], est exactement I’ ensemble des opérateurs linéaires 
continus 'T de rang fini dans H tels que T(H) cH’ et T*(H)cH’. 


Puisque G posséde la propriété (P), J est partout dense dans L(G), d’ow aussitot (i). 

Si feJ et si y est une mesure bornée sur G, lopérateur x(u*f)=x(u)n(f) est 
de rang fini, donc p*feJ. En particulier, si E¢H, feJ et f’eL*(G), on a 
n(f')(m(f)&) =x(f'*f)&eH’, donc x(f')(H’)cH’. De méme, si EcH, feJ et seG, 
on a x(s)(x(f)&) =x(c,*f)&eH’ (en notant ¢, la mesure de Dirac au point s), donc 
m(s)(H’) CH’. Ceci prouve (ii). 

Soit H”’ un sous-espace vectoriel non nul de H stable pour les opérateurs x(f) (feJ). 
Soit — un élément non nul de H’’. On va montrer, ce qui prouvera (iii), que (J)€D H’. 
Soit geJ. Ilsuffit de prouver que z(J)€5 7(g)(H). Or les vecteurs z(f)& (feJ) forment 
un sous-espace vectoriel partout dense de H puisque J est partout dense dans L'(G) et 
que = est topologiquement irréductible. Donc les vecteurs x(g*f)E=nx(g)r(f)& (feJ) 
forment un sous-espace vectoriel de z(g)(H), partout dense dans x(g)(H), donc égal a 
m(g)(H) puisque dim x(g)(H)< + co. D’ou notre assertion. 

Prouvons (iv). Il est clair que, si keJ, on a KeJ, donc x(k)(H) et 7(k)*(H) 
sont des sous-espaces de dimension finie de H’. Il s’agit d’établir une réciproque de cette 
propriété. : 

Soit K l’ensemble des opérateurs linéaires (continus ou non) dans H’ permutables 
aux z’(f), ou f parcourt J. Montrons d’abord que K=C. (Le raisonnement qui suit, 
plus simple que mon raisonnement initial, est di a J. Dieudonné). D’aprés (iii): et de 
lemme de Schur, K est un corps, extension de C. Soit feJ telle que x'(f) +0. Soit 
H,=7'(f)(H’), qui est un sous-espace vectoriel non nul de dimension finie de H’. Tout 
veK laisse stable H,. Soit v' la restriction de v 4 H,. L’application vv’ est un homo- 

-morphisme de K dans l’algébre des opérateurs linéaires de H,, qui transforme I en I. 
Comme K est un corps, cet homomorphisme est injectif. Donc K est de rang fini sur C 
et par suite K=C. 7 

Alors, d’aprés le théoréme de densité ([7], page gi), si &, ..., &, sont des éléments 
linéairement indépendants de H’ et 7, ..-, , des éléments quelconques de H’, il existe 
une fe] telleque m'(f)&=m, «+> 7 (S) on = Ww Soit un élément non nul de H’, Il existe 
une feJ telle que x/(f)E=& Soit (& & ---, E,) une base de x(f)(H) cH’. Il existe 
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une f’eJ telle que n'(f)E=E, w(f)&=...=n'(f')&,=0. Alors x(f’*f)(H) = 

Soit g=f’*feJ. L’opérateur n(geg) =1(g)n a )" est hermitien > 0, et son image est Cé. 
En multipliant g par un scalaire convenable, on a donc construit un heJ tel que x(h) 
soit le projecteur orthogonal sur Cé. Soit alors T un opérateur linéaire continu de rang 


I “ I * 
fini dans H tel que T(H)cH' et T*(H)cH'’. Alors a ey et pelle! sont des 


opérateurs hermitiens de rang fini dont les images sont contenues dans H'. Donc Test 
combinaison linéaire finie de projecteurs orthogonaux sur des droites de H’. D’aprés ce 
qui précéde, T=7(k) avec une keJ. Le théoréme est démontré. 


REMARQUE 3. — Nous allons montrer que H’+H en général. Soit I’; le groupe 
de Lie nilpotent de’ dimension 3 étudié dans [1], paragraphe 4. Ses points sont définis 
par 3 coordonnées réelles (9,, e:, e3) et la loi de composition est 


(o, O95 G3) (or Po, 03) = (o,-+ 1, Fg + Pe, 53+ 3—94Pp)- 


Ce groupe admet une représentation unitaire contittue topologiquement irréductible x 
dans H=L*(R), définie de la maniére suivante : si yeI', admet les coordonnées 9,, 
Ooo Pg, CC Si EEL?(R), ona: 


(m(y)&) (0) = er 18 (0 + 91). 


Soit H’ le sous-espace introduit dans le théoréme 2. Soit &¢H’, avec {||&||=1. 
Il existe une FeL'(I';) telle que x(F) soit le projecteur sur la droite Cé, (théoréme 2 (iv)). 
Pour &,ye€H, on a * 


(5) (7(F)E |) = ((E | So) Eo |) = (E | Eo) (Eo | 0) 
= =ff £o(p1) o(0)E(e1)(0)de,d0, 
et d’autre part 


(6) (m(F)E|a) = fl (Ela) Fy) 
= f/f Flow v0 e0)derdoades fe! —E (8+ o,)9(0)d0 
ae I “i Lf F(,—B, gp, pg)" E (01) (0) deydondp,d0 | 
=ff eer F(o,—8, poy eg)ei*—*Mdondos |E(e1)n(0)de,d0. 
Comparant (5) et (6), on voit que, pour presque toutes les valeurs de po, et 0, ona 


Ea(ex)E(8) = ff F(e1—B, eas es)eler—#'dosde, 


donc aussi 

€o(e1 + 9)E(8) = G(e,, 0, —1) 
et désignant par G la transformée de Fourier de F par rapport aux deux derniéres 
variables. Pour presque tout o,, la fonction 8+>G(p,, 8, —1) est continue. Donc, pour 
presque tout 9,, la fonction 0—&(p,+6)&(8) est presque partout égale 3 a une fonction 
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continue. Or, il est immédiat qu’il existe des éléments de H qui ne possédent pas cette 
propriété. 


_ REMARQUE 4. — Utilisons les notations du théoréme 2. Si € est un élément non 
nul de H’, Pannulateur de & dans L'(G) est un idéal A gauche maximal régulier puisque 
la représentation x’ de L'(G) dans H’ est algébriquement irréductible. Mais, puisque 
H'+H_ en général d’aprés la remarque 3, l’annulateur dans L'(G) d’un élément quel- 
conque de H n’est pas en général un idéal a gauche maximal régulier. Ce phénoméne avait été 
prévu par R. Godement ([5], page 513, lignes 9-10). 

Rappelons par contre que, si on étend x 4 la C’-algébre de G (cf. [4]), la représen- 


tation ainsi obtenue de cette C’-algébre dans H est algébriquement irréductible ({8], 
théoréme 1). 


REMARQUE 5. — Reprenons l’exemple de la remarque 3. Soit DCH l’ensemble 
des vecteurs indéfiniment différentiables pour x. On peut montrer que DcH’, D+H’. 
Comme D est stable pour les opérateurs x(s) (s¢G), on voit que H’ n’est pas algébrique- 
ment irréductible pour les opérateurs x(s) (seG). 

J ignore si inclusion DCH’ est un fait général. 


REMARQUE 6. — En modifiant trés légérement la démonstration du théoréme 2, 
on voit qu’on peut supprimer l’hypothése que G posséde la propriété (P), et supposer 
seulement qu’il existe des feL'(G) telles que m(f) soit de rang fini et non nul. 


§ 5. Noyaux des représentations irréductibles. 


Le théoréme 3 (sauf en ce qui concerne le socle de L'(G)/N) est établi dans [5] 
pour les groupes semi-simples et les groupes de mouvements. 


THEOREME 3. — On conserve les hypotheses et les notations du théoréme 2. Soit en outre 
NcL'(G) le noyau de x considérée comme représentation de L'(G). 

i. N est un idéal primitif de Li(G), et J/N est le socle de L'(G)/N et le plus petit idéal 
bilatére non nul de L'(G)/N. 

ii. N est maximal parmi les idéaux bilateres fermés de L'(G) distincts de L(G). 


Utilisons les notations du théoréme 2. Alors N est aussi le noyau de zx’ (théo- 
réme 2 (i)). Comme x’ est algébriquement irréductible (théoréme 2 (iii)), N est primitif. 
L’algébre L1(G)/N est isomorphe a l’algébre A des opérateurs nm(f) (feLi(G)). Dans 
cet isomorphisme, J/N correspond a l’ensemble des opérateurs de rang fini de A, ensemble 
qui est algébriquement dense dans Vensemble de tous les opérateurs linéaires de H’ 
(théoréme 2 (iv)). D’aprés [7], page 75 (« structure theorem»), J/N est le socle de LG) |N 
et le plus petit idéal bilatére non nul de L1(G)/N. D’ou (i). Par suite, tout idéal bilatére 
de L1(G) contenant N et distinct de N contient J. Comme J=L*'(G) d’aprés la pro- 
priété (P), on obtient aussitdt (ii). 
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REMARQUE 7. — Soit I ensemble des feL(G) telles que e(f) soit de rang fini 
pour toute représentation unitaire continue topologiquement irréductible ep de G. Alors, 
avec les notations précédentes, ona J=I-+N. En effet, il est clair que I+NcJ. D’autre 
part, (I-++-N)/N est un idéal bilatére de L'(G)/N, non nul puisque I=L\G), donc 
égal A J/N d’aprés le théoréme 3 (i). 

) deR. 


On sait que la représentation réguliére x de G dans L*(G) est somme de représentations 


BY 


topologiquement irréductibles deux a 
est {o}. Mais G posséde des représentations unitaires continues de dimension 1, donc N 


deux équivalentes. Le noyau N de z dans L1(G) 


n’est pas maximal parmi les idéaux bilatéres fermés de L1(G). Ainsi, G ne posséde pas 
la propriété (P). 


THiOREME 4. — Soient G un groupe localement compact possédant la propriété (P), m et my 
deux représentations unitaires continues topologiquement irréductibles de G dans des espaces hilbertiens, 
telles que les noyaux de 7 et 7m, dans Li(G) sotent égaux. Alors x et 7, sont unitarrement équivalentes. 


Soient H et H, les espaces de x et 7,, et NcL#(G) leur noyau commun. Intro- 
duisons les notations H’, x’ du théoréme 2, et les notations analogues Hj, 7; relatives a 7. 
Nous diviserons la démonstration en plusieurs parties. 

a. m' et 7m, définissent deux représentations algébriquement irréductibles fidéles 
de L1(G)/N. Le socle de L!(G)/N est non nul. Donc ([7], page 45, proposition 2) ces deux 
représentations sont algébriquement équivalentes. 

b. D’aprés le théoréme 2 (iv), il existe un élément hermitien fj de L!(G) tel que z( fp) 
soit un projecteur orthogonal sur un sous-espace C& de dimension 1 de H’. D’aprés (a), 
Popérateur 7;(f)) est idempotent et de rang 1; donc 7,(/%), qui est hermitien, est un 
projecteur orthogonal sur un sous-espace C&, de dimension 1 de Hj. Les vecteurs & et & 
admettent le méme annulateur m dans L(G). 

c. Pour feL4(G), posons of) =(m(f)Elé), af) =(m( AE). Alors 9 et g sont 
des formes positives élémentaires sur L1(G). Pour prouver le théoréme 4, il suffit de 
prouver que ¢ et , sont proportionnelles. 

Transposant a notre situation un raisonnement de R. V. Kadison sur les C*-algébres 
([8], page 275, lignes 20-27), nous allons montrer que le noyau Q de » est m+m (ou m 
est Pimage de m par l’involution ~ dans L1(G)). D’abord, il est clair que mcQ, donc 
mcO= Q, donc m+mcQ. Maintenant, soit heQ. On a (m(h)Ele) —o.. dome 

T(foxh)E=x(fo)n(h)E=o0, donc fyxhem. D’autre part, 


n(h—hsf.)E=n(h)E—n(h)E=o 
jae i tae Gs donc h—h« f,em. Alors, tenant compte du fait que Fo =I) Ono 
he he fy) + (fre h)~ em+im. Donc Q= Qcm+im. 


On a donc prouvé que Q=m-+im. Le méme raisonnement, appliqué a 9,, montre 
que le noyau de 9, est m-++™. Donc g et p, sont proportionnelles. 
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REMARQUE 9. — Soit A la C’-algébre de G (cf. [4]). Si on étend a A les représen- 
tations unitaires irréductibles de G, les analogues des théorémes 3 et 4 sont vrais. Cela 
résulte du fait évident qu’un groupe qui posséde la propriété (P) est un CCR-groupe 


(cf.-[10]). 
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INTEGRAL POINTS ON CURVES 
by Srrce LANG (1) 


Siegel has shown in [14] that an affine curve f(x, J) =o with coefficients in a 
number field and of genus >1 has only a finite number of points whose coordinates 
are integers of that field. Mahler [8] has conjectured that a similar statement holds 
for points having only a finite number of primes in their denominators, and proved this 
for curves of genus 1 over the rationals by his p-adic analogue of the Thue-Siegel theorem. 

In view of Roth’s recent result, and the progress which has been made in the 
theory of abelian varieties (especially the Jacobian) since Siegel and Mahler’s papers 
appeared, it seemed worth while to reconsider the question, and I give below a modernized 
exposition of Siegel and Mahler’s proof, which automatically carries with it a proof 
of Mahler’s conjecture. The Jacobian is used in order to take a pull-back over the 
given curve of the standard covering given by u->mu-+a where m is a large integer, 
and aeJ is a suitable translation. 

Aside from Roth’s theorem (whose statement is reproduced in § 1) we use only 
the classical properties of heights and the weak Mordell-Weil theorem. This paper is 
thus a natural sequel of [7]. 

A proof of Mordell’s conjecture [10] that a curve of genus >2 has only a finite 
number of rational points would of course supersede the Siegel-Mahler theorem for such 
curves, but I would conjecture that the latter holds in fact for abelian varieties : If A is 
an abelian variety defined over a number field K, if U is an open affine subset, and R a 
subring of K of finite type over Z, then there is only a finite number of points of U in R. 
The difficulty in trying to extend the proof to abelian varieties lies in the fact that there 
is a whole divisor at infinity, whereas for curves, there is only a finite number of points, 
which are all algebraic. 

It is easy to see that if the conjecture is true, then it remains true if K is replaced 
by a field of finite type over Q, and R by a subring of finite type over Z._ In § 7 we shall 
carry this out for curves. This could be applied to strengthen in a like manner Siegel’s 
result on curves of genus 0 as on p. 47 of [14]. There is no point in carrying this out 
here, but it is worth while to go deeper into one of Siegel’s arguments. 

We observe that if G is a group variety, and I’ a subgroup of finite type, then 
there is a field K of finite type over the prime field over which G is defined, and over 
which all points of I are rational. 

Now the argument of Siegel can be used to prove the following theorem. 


(4) Sloan Fellow. 
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Let K be a field of characteristic 0, and T a subgroup of finite type of its multiplicative group. 
Then the curve axt+by=1 with a,beK and ab+o has only a finite number of points 


with x, yer. 


Proor. If there were infinitely many, let m be an integer >3. ‘Then infinitely 
many x (resp. _y) would lie in the same coset mod I”, so that for such x and y we can 
write x =a," and y=a,»”, and we get infinitely many pointsin I x I’ on the curve 


aa,é” + ban” =1 


which has genus >1. Contradiction. 

The straight line just considered should in fact be regarded as a subvariety of the 
product of the multiplicative group with itself. Recall that an algebraic torus (torus for 
short) is a group variety which is a finite product of multiplicative groups. Infinitely 
many rational points on the line give rise to integral points on a curve of genus >1, 
and using this same idea, we get more generally : 


Let G be a torus in characteristic 0. Let CG be a subvariety of dimension 1 of G. Let T 
be a subgroup of finite type of G. If C intersects T in an infinite number of points, then C. 1s the 
translation in G of a subtorus of dimension 1. 


Proor. We can find a field K of finite type over Q over which G is written as an 
n-fold product of multiplicative groups, over which all points of I’ are rational, and over 
which C is defined. Let (x,,...,%,) be a generic point of C over K. Then C has 
genus 0, and we can write x,;=9,(¢) where 9; is a rational function of a parameter {, 
defined over K. We proceed as above. Let us take m large and relatively prime to 
the orders of zeros and poles of the functions 9,(¢). For suitable elements a, ..., 4,€K, 
the curve whose generic point is (&,...,&,) where &—=a,x, (over possibly a finite 
extension of K) must also have genus 0. Consider first a covering of the ¢-line given 
by the equation €”=ag(t) with a, @ any one of the a,, 9;. We use the classical formula 
for the genus of a covering : 


2 g'—2=m(2 g—2) + X(ep—1). 
Then ¢(¢) can have at most one zero and one pole. Indeed, the degree is m, and the 
ramification index above such a zero or pole is m also. We have m(2 g—2)=—2m, 
and if there were at least 3 distinct zeros and poles, then the term =(ep—1) would 
grow at least like 3(m—tr), so we would get a covering of genus >1, having infinitely 
many points with coordinates in I’, which is impossible. 
After a linear transformation, we can write say for i=1, 


CPT i 
for some integer 7,+0. From the same argument, x;=a,9,(¢) where 9,(t) is a power 


of some linear transformation of t. In fact, 9,(#)=¢i because our covering has the 
intermediate covering defined by the equation 


EG" = A,X, (a;x,)*! = at"o,(t)*1 
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which would be of genus >1 unless ¢,(/) 


' is of the prescribed type. We thus conclude 
that C is the translation of a subtorus. 


As Siegel already observed, the coset argument is formally the same as the one 
used to carry out the proof that curves of genus =.1 have only a finite number of integral 
points, but using the Jacobian instead of the torus (cf. below Proposition 1). 

The analogy between toruses and abelian varieties was again observed by Chabauty, 
who in two papers [2], [3] considers infinite intersections of a subvariety of a torus or 
an abelian variety with particular subgroups of finite type, namely subgroups of units 
and groups of rational points in a number field respectively. Thus one is led to generalize 


and reformulate a conjecture of Chabauty [2] in the following manner, which includes 
the Mordell conjecture. 


Let G be torus (resp. an abelian variety) in characteristic o. Let V be a subvarwety of G, 
having an infinite intersection with a subgroup of finite type T of G. Then V contains a finite 


number of translations of group subvarieties of G which contain all but a finite number of points 
of Vor. 


This statement has been proved above when V is of dimension 1 and G is a torus. 
When G is an abelian variety and again V is of dimension 1, this is Mordell’s conjecture. 
Of course, one may ask whether such a statement would not be valid also for a commutative 
group extension of an abelian variety by a torus. } 

Returning to the question of integral points, we shall see that our theorems have 
analogues in function fields K (finitely generated regular extensions) over arbitrary 
constant fields k of characteristic 0, and the finiteness statement can be given a relative 
formulation : One proves that certain points have bounded heights (Theorems 2, 3). 
In view of Theorem 3 [7], one sees that the conjecture we made above concerning integral 
points on affine subsets of abelian varieties can also be formulated relatively : If A is 
defined over k, if (B, +) is a K/k-trace, then integral points of A, lie in a finite number 
of cosets of 7B,.. 

In this connection, the Mordell conjecture becomes a conjecture in algebraic 
geometry, and it is worth while to make further comments on it here. Let k be as above, 
K=A(t) a function field over &, where ¢ is the generic point of a variety T, and let C 
be a curve of genus >2, defined over K. Then C=C, can be viewed as the generic 
member of an algebraic family. The conjecture then asserts that if C, has infinitely many 
rational points in k(t) (cross sections of the parameter variety 'V in the graph of the family), then QC, 
is birationally equivalent over k(t) to a curve Cy defined over k, and all but a finite number of these 
points arise from points of Cy in k. 

Evidence for this comes from the special case where C,=C, is already defined 
over k, and then one obtains a classical theorem of de Franchis, to the effect that given a 
variety V and a curve C. of genus > 2 (in characteristic 0) there exists only a finite number of generically 
surjective rational maps of V onC. We give a quick proof of this theorem. Taking a generic 
hyperplane section U of V and inducing the rational map on it, one reduces the theorem 
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to the case where V is itself a curve. Indeed, two distinct generically surjective rational 
maps f, f’ : V>C induce distinct generically surjective maps on U, as one sees by 
taking the induced homomorphisms on the Albanese varieties, using Theorem 4 of [5], 
Chapter VIII, § 2. 
Assuming now that V is a curve, we have the formula for the genus : 
2.9(V)—2=d[2.g(C)—2] +A 

where A>o. Thus the degree of V over C is bounded. Taking suitable projective 
embeddings, we see that the degree of the graph of our rational maps f must be bounded. 
Hence these graphs I’, lie on finitely many algebraic families on V X C. On the other 
hand, a generic element of such families is likewise a generically surjective rational 
map of V onto C (as one sees by projecting on both factors). ‘Taking the induced 
homomorphisms on the Jacobians, and using the fact that an abelian variety has no 
algebraic family of abelian subvarieties, we see that all induced maps coming from 
the same family differ by translations. We use now the fact that C is not equal to a 
non-zero translation of itself in its Jacobian. (If it were, so would the divisor ©, and it 
isn’t, even up to linear equivalence by Th. 3 of Ch. VI, § 3, [5].) We conclude that a 
graph I; actually must constitute by itself a maximal algebraic family on V x C, and 
thus finally that there is only a finite number of such graphs, or maps f. ‘This concludes 
the proof. (When V is a curve, we do not need characteristic 0, only the assumption 
that the map f: V-—C is separable, to be able to use the genus formula above.) 

The Mordell conjecture thus gives rise to diophantine criteria for lowering fields 
of definition, and we can actually prove such a criterion in the context of integral points 
(Proposition 2). 

One remark on notation to conclude this introduction : If O is a set of geometric 
objects, and K a field, we denote by Ox the subset of O consisting of those objects which 
are rational over K. For example, if V is a variety defined over K, then V, denotes the 
set of its rational points in K. 


§ 1. Diophantine approximations. 


Let K be a number field (by definition, a finite extension of the rationals Q) and 
let N=[K : Q] be its degree over Q. For each prime p of K (finite or archimedean) 
let N,=[K,:Q,] be the local degree of the completions. If p is archimedean, then 
Q,=R is the field of real numbers. Otherwise, it is the field of p-adic numbers where p 
is a prime number. We denote by ||, the absolute value on K corresponding to the 
prime p, which induces on Q the usual absolute value if p is archimedean, and otherwise 
the p-adic absolute value, so that | p\,»=1/p. We assume that this absolute value is 
extended to the algebraic closure K of K in some way. This amounts to embedding K 
in Q, and taking the absolute value induced by that of Q,. 

If 8 is an element of K, we can define its height 


H,(8) =H sup( I, [8 |,)"» 
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the product being taken over all primes of K. More generally, if P is a point in projective 
n-space, with coordinates (&, ..., &,) rational over K, then 


Hi,(P) = tl sup; [|&; |s?}. 


The product formula [1] guarantees that this does not depend on the choice of coordinates. 
Thus H,() is the height of the point-having (1, 8) as coordinates in P, and if B+0 we 
see that H,(8) =Hx(1/8). If 8 =m/n is a rational number, with m, n relatively prime 
integers, then H (8) =sup(|m|, ||). 

If K is fixed, and the reference to a projective space is fixed throughout a discussion, 
then we write H instead of Hx. 

We recall that one can define the absolute height 


h(P) =H, (P) 2 


which is then independent of the field in which P is rational. Thus H, is a function on 
points in projective space rational over K while h is a function on points in projective 
space rational over K. Note that A(P)>1 and H,(P)>t. 


Two positive functions A, 4’ on a set of points are called equivalent (we write A~2’) 
if there exist two numbers ¢,, ¢,>0 such that 


ey OES 


It will also be convenient to define A, A’ to be quast-equivalent (we write 1~4') if given 
<>o, there exist two numbers ¢,, ¢,.>0, depending on ¢«, such that for all points P in the 
set, we have 


6A (P)**Sa'(P) S@A(P)IF*. 


These relations are obviously equivalence relations (symmetric, reflexive, transitive). 

On the set of elements «€K such that K=Q/(«), our function Hx is equivalent 

to the height function used for instance by Roth, i.e. the maximum value of the coefficients 

in the irreducible equation satisfied by 8 over Z, the integers. This is trivially verified. 

If E is a subfield of K, then on E we have Hy =H{f'"!. From this one sees immediately 

that the set of elements of K of bounded height is finite (such elements can satisfy only 
_a finite number of equations over Z). 

The Thue-Siegel-Mahler-Roth theorem (Roth’s theorem for short) can be stated 
as follows. Let « be algebraic over K. Let x be a number > 2, and let S be a finite set of primes 
of K. Then the solutions ® in K of the inequality 

I 


: en eNO 
Hs | Pl) See 


have bounded height. 

For a proof, see for instance [12], which follows Roth closely, includes the Mahler 
version, and obviously generalizes to number fields. Of course, the set of elements 
of K with bounded height is finite, but we have stated the theorem in the above form 
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so as to have a uniform terminology with the function field case (characteristic 0). We 
discuss this below. The above statement can be slightly strengthened (as in Mahler) : 
If b is the ideal which is the denominator in the ideal factorization of in K, and if one 
defines |b|, for finite primes p in the obvious manner, then one can replace |a—6|, 
by |%—6|,|b|, in the above inequality, for the finite primes appearing in S. 

Actually, for the sequel, we need only the approximation for one prime : The solu- 
tions B in K of 


I 
a—B |,<—— 
lo Pb Sey 

have bounded height. In fact, we shall need it in the following context, as in Mahler [8]. 


Let G(Y) be a polynomial in Rive and assume that the multiplicity of its roots 1s at most r 
for some integer r>o0. Say G has leading coefficient 1, so G(Y) = II (Y—a<,)*. Let c>o 
be a number, and p a prime of K. Then the solutions B in K of 

C 
G <——— 
| (8) He 
have bounded height if x> 2. 


It is a trivial matter to get this from the preceding statement. Indeed, our 
absolute value comes from an embedding of K in ie If 8 stays away from all the «,, 
our statement is clear. If ® comes close to one of them, then its distance from the others 
is greater than some fixed lower bound. Thus in evaluating |G(8)|, precisely one 
term |«,—§|,' becomes small, and we get 


Keele 

for a suitable c’>o0, and a sequence of 8's such that H(®)—0oo. Since e<r, we can 
replace it by 7, still preserving the inequality, and then take an 7-th root. By making x 
a little smaller, but still > 2, one can omit the constant c’, and thus reduce our statement 
to the previous one. 

Note that if we put G(Y) =Y—a«, we recover Roth’s theorem in its original form. 

We now discuss the function field case. Let K be a function field (of arbitrary 
dimension) over a constant field k of characteristic 0. Let W be a projective model 
of K over k, non-singular in codimension 1. Let w be a generic point of W over &, so 
that we can write K=k(w). As in [7] we use W to compute heights. If p is a prime 
rational divisor of W over k, then deg(p) denotes its projective degree. We then have 
the absolute value 


[E |p = yeep & 


where ord, is the order at the discrete valuation determined by p, and y is a fixed 
number, o<y<1. Thus 
H(E) = Hy (€) = (1/7) 
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where d(€)=deg(&), is the degree of the divisor of poles of & More generally, if 
(&, »--,&) is a point in P” over K, then 


H(P) = (1/p)te mnie, 


Thus in function fields, it is convenient to take the log to the base y. 

For each p we suppose our absolute value extended to K in some fixed way. Then 
the statement we gave above of Roth’s theorem holds in the present situation. This is seen as follows. 
First, one reduces the situation to the case where K is of dimension 1 over k, by taking 
generic hyperplane sections. Let L, be a generic hyperplane over k, and (w,, ..., w,) 
an affine generic point of Woverk. Let t=u,w,+...+u,w, andlet k’=k(u,..., tg; #) 
(cf. [4], Gh. VIII, § 6). The generic hyperplane section W’=W.L,, is defined over k’, 
assuming that dimW2e. If p is a prime rational divisor of W over k, then p’=p.L, 
is a prime rational divisor of W’ over k’. If €eK isa function on W, and &’ the induced 
function on W’, then -(&’),,=(&),..L,. Thus the height remains invariant by going 
over to generic hyperplane sections : 


Hy,(P) a Hy (P) 


if P is a point in P” rational over K. (Geometrically speaking, the point P gives rise 
to a rational map of W into P" and the induced rational map of W’ into P”.) 

The absolute value ||, described previously extends to the field Kus, @) 
in such a way that it is trivial on k(u,, ..., u,, ¢), and corresponds to the prime divisor p’. 
Consequently, we see that if we prove Roth’s theorem for the field K’=K(u, ..., u,) 
viewed as function field over the constant field k’, relative to the model W’ (which is 
projective and non-singular in codimension 1) then it will follow for (K, k, W). This 
brings us to the function fields in one variable. 

As for those, a prime p is then a conjugate set of points over k. One sees immediately 
that we may go over to the algebraic closure of k, and then, in terms of orders, to prove 


the theorem in the following form : 
Let K be a function field of one variable over an algebraically closed constant field k of charac- 


teristic 0. Let S be a finite set of primes of K over k. Let « be algebraic over K. Then the 
degrees deg(),, of elements 8 in K satisfying the inequality 


m ordy(a—B) 2xdeg(B) ee) 
are bounded. 


Actually, one gets a finiteness statement, because of the following remark : Let 8,, 6, 
be solutions of the above inequality such that d(8,) =d(®,)=d is >0. Then §,= 6a 


Indeed, we get 
ord, (8; — By) 2 xd 


But deg(8,—®.),<24. If 6,+ 8, then $,—P, has more zeros than poles, which 
is impossible. 
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We observe that d(8) =o if and only if @ is constant, ie. lies ink. (In terms of 
heights, this means H(8)=1.) Thus finally, we can state Roth’s theorem in dimension 1 


in the following form, say for one prime p : 


Let « be algebraic over K. There is only a finite number of elements BeEK which are not 


constant (i.e. not in k) such that 


ord, (a—f) 2xd(B) 
if exe 2: 


The proof of Roth’s theorem for function fields in one variable is essentially the 
same as Roth’s own proof. One must use the Riemann-Roch theorem precisely in the 
place where Roth does his counting to get his crucial polynomial. By the way, in number 
fields at this point, it is best to use the known estimates giving the number of algebraic 
integers in given parallelotopes (as in Artin-Whaples Theorem 4 [1]). For an exposition, 
cf. mimeographed notes to appear in the near future. 


§ 2, A geometric formulation of Roth’s theorem. 


In this section we give a formulation of Roth’s theorem which is adapted to the 
use we wish to make of it afterwards. We let K be a global field : This means a number 
field, or a function field over a constant field k which we assume of characteristic zero 
for this section. In the function field case, heights are taken with respect to a model as 
described in § 1. : 


THEOREM 1. Let W be a complete non-singular curve defined over K. Let z, y be two 
non-constant functions in K(W), and let r be the largest of the orders of the zeros of z. Assume 
that y has no zero or pole among the zeros of z, and that y gives an injective mapping of this set of 
zeros into K. Let x be a number >2, and c>o. Then the points QeW x such that 


C 


Le 
(QVhSHGQy 


have bounded height H,. 


Proor. Without loss of generality, we may assume that K(z,y)=K(W). If 
necessary, we may consider the complete non-singular curve which is a model of K(z, ») 
instead of W. Our assumptions will still be valid for this curve. We may also assume 
that the values | »(Q))|, are bounded. Indeed, if there is an infinite sequence of points Q 
whose height H,(Q) =H(»(Q)) tends to infinity, and satisfying the above inequality, 
but with | 7(Q)|, unbounded, then we may consider 1/y instead of y, together with an 
infinite subsequence of such points Q. Let ® be the set of zeros of z. Since y has no 
pole in ®, it is integral over the local ring p of the point z=o in the function field K(z). 
Let F(Y) be its irreducible equation over 0. Then 


F(Y)=G(¥Y) (mod z) 
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where G(Y) is a polynomial with coefficients in K, leading coefficient 1, and mod z 
means modulo the maximal ideal of p generated by z. 

By hypothesis, y induces an injection Q-+»(Q) of ® into K. The multiplicity 
of a root of G(Y) is thus < the multiplicity of a point on W in the inverse image of z=o, 
this being the multiplicity of a zero of z. (One can see this formally for instance as 
follows : Let (»™) be an affine generic point of W over K all of whose coordinates are 
integral over 0. If (y, ..., 9) is a complete set of conjugates of (y) over K(z), 
then the cycle on W which is the inverse image of z=o consists of a specialization 
(9, «2, 9) of (9, ...,9%) over z+>0. The conjugates of y correspond to the 
conjugates (y, ..., 9), and one can then use [4], Theorem 2 of Chapter I, § 4, applied 
to the polynomial F(Y).) 

We can write 


F(Y) =G(Y) + zA(z, Y) 


where A(z, Y) is a polynomial in Y with coefficients in 0. Since A(o, Y) is defined, 
so is A(z(Q), Y) for small values of |z(Q) |,, which is all that we need to consider. Thus 
the values 


|A(z(Q.), »(Q)) |p 


remain bounded since we could assume that | y(Q.) |, remains bounded. Since F(y) =o, 
we get an estimate for G(»(Q_)), namely 


IG(9(Q)) pS |z(Q) le 


ae Ea 
a HOw 


which puts us precisely in the situation described in § 1, and concludes the proof. 


§ 3. Behaviour of heights under projection. 


We use the same notation as in [7]. For this section, K is a global field. Property 
1 F of [7] is still clearly valid without the restriction dim K=1, and so are the other 
Properties 2, 3, 4 and Theorem 3, where dim K =1 is not assumed. 

Let V be a variety defined over K. For each morphism 9 : V+P” (everywhere 
defined rational map) defined over K, we have height functions on Vx and Vg, namely 


H,(P)=H(9(P)) and %,(P) =A(9(P)). 


We do not repeat here the discussion establishing the correspondence between maps 
of V into P” and linear systems on V, but to fix the notation, if V is complete, normal, 
if X is a divisor on V rational over K, and #(X) is its complete linear system, and if 
we assume that (X) is without fixed point, then we denote by Hx (or hy) the height 
associated with any map into projective space arising from this linear system. These 


are well defined up to equivalence. 
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Foremost among the properties of heights is Property 4 (due to Weil) that the 
heights associated with two linear systems without fixed points whose divisors are linearly 
equivalent to each other (i.e. having the same complete linear system) are equivalent. 
This property will be used constantly in what follows. 

The local behaviour at a point on a variety is represented by local parameters, 
and it is frequently more convenient to deal with these than with the coordinates in a 
projective embedding. In the following discussion (which depends only on Property 4 
of heights), we make a generic projection and compare the heights arising from the 
embedding and its projection. We adjust the discussion to the immediate application 
we have in mind, and thus restrict ourselves to the case of curves. 

Let W be a projective non-singular curve defined over K. The height h (or H) 
is taken with respect to this embedding. Let (3, .-.,.7,) with y=1 be functions 
in K(W) determining our given embedding. Let ® be a finite set of points of W in K. 
Then there is some polynomial equation such that if (a, ..., d, bo, ..-, 0,) are elements 
in k not satisfying this equation, then the function 


WIT +++ FIIn 


Doig? Sar ates, 


has the following properties : 


The function y is not constant, and has no zero or pole among the points of ®. 
Tf h, ts the height determined by the mapping of W into P* arising from the function y, then 


h,~h, 
and thus H,~H (as functions on Wy). 
The mapping 
Q>»(Q) 


gives an injection of ® into K. 


These properties are easily proved. Indeed, let Q be a point of W in K. If t¢ is 
a function of order 1 at Q, then each y; has an expansion as a power series in ¢, say 
J,=6t" +... with an integer ¢, which may be negative. We see that there is a poly- 
nomial Gg (linear) such that for any set of elements (a), ..., @,) in & for which Go(a) +0, 
then a+ ... +4,), has order eat Q, where e=infe, Taking Q from a finite set ®, 


we then take the product of the Gy for Qe®, and achieve the same thing for all Qe®. 

If a) denotes the sup of the polar divisors of our given y,, then we see that almost 
all linear combinations a,))+ ... +4,y, have precisely a, as polar divisor. Furthermore, 
applying the above remarks to zeros instead of poles, and taking into account that the 
linear system determined by (1, 9,, ...,,) is without fixed point, we see that we can 
make a sufficiently general choice of a; and 5, such that the function y has no zero or 
pole in ®, and its divisor 
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is such that (y),, lies in the above linear system. According to Property 4 of heights, 
it follows that h, is equivalent to h. 

To insure that the map Q->)»(Q) is injective, we select among the 9, (for each Q ) 
that function having the highest order pole at Q and denote it by yg. All quotients y,/y9 
are defined at Q, and we have 


q(Q) +... +4,,(Q) 
bot (Q) +... +4,t,(Q) 


where w;=;/Jg- (Strictly speaking, each w; should carry Q also as an index.) We can 
choose the b; so that the denominator does not vanish, and the condition that »(Q) +)(Q’) 
when Q+Q’ are two distinct points of ® is immediately seen to be implied by the non- 
vanishing of a polynomial in the a; and );. This concludes the proof of our three 
statements. 


Remark. Given a subfield E of K(W) containing K, and such that K(W) is finite 
separable algebraic over E, then it is clear that in addition to the above conditions, we 
can also require » to be a generator of K(W) over E. 

Putting the results of § 2 together with the technique of generic projections, we get 
a more useful version of Theorem 1 : 


(Q) = 


THEOREM 1’. Let W be a projective non-singular curve defined over a global field of 
characteristic o. Let z be a non-constant function in K(W), and let r be the largest of the orders 
of the zeros of z. Let x be a number >2 and c>o. Then the points QeWx such that 


¢ 
ON Sarre 
have bounded height. 
Proor. We let ® be the set of zeros and poles of W, and apply Theorem 1, taking 
into account the properties of H, and its relation to H, the height taken relative to the 
given embedding of W in a projective space. 


§ 4. Another property of heights. 


Let K be a global field. As pointed out already, linear equivalence of linear 
systems gives rise to equivalent height functions. We shall now prove that algebraic 
equivalence gives rise to quasi-equivalent height functions. We need a lemma from 


pure algebraic geometry. 

Lemma. Let V be a complete non-singular variety. Let X be a divisor on V such that 
some multiple eX is ample (e an integer >0). Then there exists an integer e'>0 such that for 
any divisor Z on V algebraically equivalent to 0, the divisor Z-+-e'X is ample. 

Proor. Let A be the Picard variety of V. We can always find a Poincaré divisor D 
on VxA which is positive : If V is an abelian variety, this is Theorem to of Chapter IV, 
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§ 4, [5], and otherwise, making a generic translation on D, the pull-back method of Weil 
gives a positive Poincaré divisor on V xA (ibid., Theorem 1 of Chapter VI, § 1). 

By hypothesis, Z~'D(a)—'D(o) for some point acA. The intersections are 
defined after making a generic translation on D. It is well known that there exists an 
integer ¢,>o such that —'D(o) +e,X is ample (see for instance [9], Lemmatr). Further- 
more, the divisors ‘D(a) as a ranges over A are all algebraically equivalent to each other, 
are positive divisors, and have the same projective degree. Hence there exists an integer 
e>o such that ‘D(a) +e X is ample, again by [9], Lemma 1. From this our lemma is 
immediate. 

PRoperTY 5. Let V be a complete non-singular variety defined over K. Let X,Y>0o 
be two positive divisors on V, rational over K. Assume that a positive multiple of each 1s ample, 
and that the linear systems £(X) and L(Y) are without fixed points. If X and Y are algebraically 
equivalent, then hy and hy are quasi-equivalent (and so are Hy and Hy). 


Proor. Using property 4, we shall reduce our assertion to a statement concerning 
linear equivalence classes of divisors on V. By the lemma, there exists an integer e>o 
such that for all n>o we have 

n(X—Y) +eX~Z, 


where Z, is a positive divisor on V, and ¥(Z,) is without fixed points. Since 
n(X—Y)+eX is rational over K, one may take Z, rational over K. We get 
nX+eX~nY+Z,, and taking heights, 

Ax’ hy hy, . 
Since A, (P) 21 for all P, taking an n-th root, we see that given e>o, there exists a 


number c>o such that 
chy(P)*** > hy(P) 


if we take n sufficiently large. The other inequality is obtained in a similar way, or by 
symmetry. 

When V is a curve, the statement is due to Siegel [14] whose proof we essentially 
imitate here, except that of course Siegel uses the Riemann-Roch theorem where we 
have used the Picard variety (see for instance [1 5], P- 435). In the case of curves, 
algebraic equivalence is determined by the degree of the divisor, and hence if deg(X)=d 
and deg(Y)=d’, then hy is quasi equivalent to hd”. 

In particular, we note that if a set of points on the curve V has bounded height 
in some projective embedding, then it has bounded height in every projective embedding : 
The notion of a set of bounded height is independent of the embedding. 


§ 5. Inequalities from the theory of heights. 


We come now to the proof of the diophantine theorem proper. 
Let G be a non-singular curve, of genus >1, imbedded in some projective space over the 
Slobal field K. The height H as a function on Cy is determined by this embedding. 
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Let x be a function-on C, defined euer K and not constant. Then (1, «) determines a 
mapping of C into P', and the corresponding linear system is of degree 


r=[K(C) : K(x)], 


a divisor in it being, for instance, the divisor of poles of x. We assume that K(C) over K(x) 
is separable. (At the very end, and only then, do we need characteristic 0, to contradict 
Roth’s theorem.) 

Let S be a finite set of primes of K, containing the archimedean primes, and let R be a subring 
of K all of whose elements are p-integral for p not in S. Let R be the set of points of C rational 
over K, and such that x(P) lies in R. We wish to prove that the height of the points in R is bounded. 
We assume the contrary, derive a list of inequalities which eventually contradict Roth’s 
theorem. We let ®, be a subsequence of ® such that the height of the points in R, 
tends to infinity. 


By assumption, we have |&|,<1 for p¢S and €eR. Hence for all PeR,, 
we get 


H(x(P)) = H sup(x, |x(P) [) 


where N, is the local degree in number fields, and 1 in function fields. Let N=[K : Q] 
in number fields, and 1 in function fields. Let s be the number of primesin S. Rewriting 
our product in terms of the absolute values, we see that we have at most Ns terms in it, 


of type 
sup(t, |*(P) |»). 


Consequently, for each Pe, there exists one p in S such that |x(P) |, >H(x(P))*™*. 
Hence there exists an infinite subset , of R, such that for some p in S and all points P 
in R, we have 

H(x(P))%° S |x(P) [p- 


In view of Property 5, we can compare H(x(P)) and H(P). If d is the degree 
of C in its given projective embedding, and 9 the mapping into P" given by the function x, 
we conclude that there is a number c,>0 depending on « such that for P in Cx we have 


H(P)'"*<H(x(P)). 


- Combining this with the previous inequality, we see that there is a number >0 such 
that for some peS and all Pe, we have for suitable ¢,>0: 


H(P)°’<4|4(P) |p. 


This inequality will be improved by going over to a covering of C, derived from the 
weak Mordell-Weil theorem. Furthermore, the arguments will prove the following 


improvement of Theorem 1’, for curves of genus = 1. 
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Tueorem 2. Let K be a global field of characteristic 0. Let p, ¢ be numbers > 0. 
Let C be a curve of genus >1 defined over K, and x a non-constant function in K(C). Let p bea 
prime of K. Then the height of points P in Ox such that 
|*(P) Sees 
1s bounded. 
(To apply the theorem, use the function 1/x instead of x.) 


§ 6. Inequalities from the Mordell-Weil theorem. 


We assume that C is embedded in its Jacobian J over K, and take J embedded in 
projective space. We take the induced embedding on C. For any point PeJx we 
let H(P) be the height determined by our embedding, which remains fixed throughout. 

In view of the definition of the height, and of | |,, we may, without loss of gene- 
rality, in the function field case, assume that the constant field is algebraically closed. 
This insures that for an integer m> 1 we have Jx/mJ, finite. 


Proposition 1. Let m be an integer >0, unequal to the characteristic of K. Let S 
be an infinite set of rational points of Cin K. Then there exists an unramified covering w : WC 
defined over K, an infinite set of rational points S' of W in K such that w induces an injection of S' 
into S, and a projective embedding of W over K such that How is quasi-equivalent to H™. (Of 
course, in How the H refers to the height on C, while in H™ it refers to the height on W.) 


Proor. Let a,,..., a, be representatives of cosets of Jx/mJ,. Infinitely many 
PeS lie in the same coset, and so there exists one point, say a,, and infinitely many 
points Q in Jx such that mQ-+a, lies inG. We let GS’ be this infinite set of points Q. 
The covering »:J—J given by ou=mu-+a, is unramified, and its restriction W to C is 
non-degenerate, i.e. is an irreducible covering of the same degree [6]. The inverse 
image of a point in C lies in W. Thus ©’ is actually a subset of Wg. Restricting one’s 
attention to a subset of S’ guarantees that w induces an injection on this subset. 

To prove the relation concerning the heights, we may work on the Jacobian itself 
since we take W in the projective embedding induced by that of J. If X is a hyperplane 
section of J, then 

o4(X) = (m3)-"(X_,) =X 


where = is the equivalence of the square, known to be the same as algebraic equivalence. 
But h,.-yx)~hxow by Property 3 of heights (which is trivial) and h..-.x) behaves essentially 
like Ay»ax~hg by Property 5. Our proposition is now clear, since for rational points 
in K, these equivalences are valid for H. 

We note that x«(P)=x(wQ). Let zbe the function on W such that 2(O )\=s (iQ ie 
Let x be a number >2 and let m be large enough such that m’o>xr. Then for a suitable 
constant ¢; our inequality becomes 
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which is precisely the case treated in Theorem 1’. The fact that W js unramified over C 
guarantees us that the orders of thé zéros of z are bounded by r. This concludes the 
proof of the original statement and of Theorem 2, 

It is striking that the use we made of the Jacobian is formally analogous to the 
one in class field theory [6]. In that case, Artin’s reciprocity law was reduced to a formal 
computation in the isogeny u->u—w of the Jacobian. In the present case, the heart 
of the proof is reduced to a formal computation of heights in the isogeny u—>mu-—a. 


§ 7. Extensions of finite type. 


We shall extend the Siegel finiteness statement to rings of finite type over Z, and 
its analogue in function fields, including the relative case. We reduce our theorem to 
the case of dimension 1 (number fields, or function fields of one variable). We begin 
by giving a criterion which allows us to lower the field of definition of a curve. 

Let K be a function field over the constant field Ky, which need not be algebraically 
closed, but which we assume to be of characteristic 0. If its dimension is >1, we select a 
projective normal model, relative to which we take our heights. 

Let C be a complete non-singular curve defined over K. If ® is a subset of Cy, 
and the height of the points in is bounded in some projective embedding of C, then it 
is bounded in any other, as mentioned above. The next proposition deals with such 
sets. For the K/K,-trace, cf. [5], Chapter VIII. 


Proposition 2. Let K, K, be as above, and C a complete non-singular curve of genus = 1, 
defined over K. Let R be an infinite subset of Cy of bounded height. Regard C as embedded in 
its Facobian J over K, and let (B, t) be a K/Ky-trace of J. Then « is an isomorphism. The 
points of R lie in a finite number of cosets of tBy, and if infinitely many of them lie in one coset, 
so are of type atch where a is some point of Jx and b ranges over an infinite subset of By, then 
Cy=7 1(C_,) is defined over Ky, and ~ induces an isomorphism of Cy onto C_,. 


Proor. We may assume J, B embedded in projective space. Using the auxiliary 
model of K over K, as in [7], we see from Theorem 3 and Proposition 2 of [7] that the 
points of ® lie in a finite number of cosets of tBy,. Say infinitely many lie in the coset 
a+7Bx,. We know that z establishes an isomorphism between B and 7(B) by Cor. 2 
of Th. 9, Ch. VIII, [5]. Since infinitely many points of sBy, lie in C_,, it follows that 
their K-closure in +B or in J is precisely C_,. Put C,=+ *(C_,). Then G, isa curve 
contained in B, and t induces an isomorphism 7, of C, onto C_,. Furthermore, C, contains 

infinitely many points b of B rational over Ky. It is then a trivial matter to conclude 
that C, is defined over K, because these infinitely many points are both K, aud Is dense 
in C,. Since zB contains a translation of G, it follows that tB=J is the Jacobian, i.e. 7 is 


an isomorphism. 


Remark. If we do not assume characteristic 0 in Proposition 2, then 7 is merely 
bijective, and C, may be defined over a purely inseparable extension of K). 
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Corotiary. Let K, K, be as above. Let C be a complete non-singular curve of genus 22 
defined over K, and let R be an infinite subset of Cy consisting of points of bounded height. Then 
there exists a curve Cy defined over Ky and a birational transformation. T : Gy>G defined over K 
such that all but a finite number of points of R are images under T of rational points of a Kee 


Proor. Since the genus is >2, the curve cannot be equal to any translation of 
itself in its Jacobian. Hence there can only be one coset having infinitely many points 
of C and we apply the proposition. 

Combining our corollary with the results obtained in the previous section, we get 
the relative formulation of Siegel’s theorem. 


TuroreM 3. Let K be a function field over a constant field k of characteristic 0. Let R 
be a subring of K of finite type over k. Let C be a complete non-singular curve of genus = 1 defined 
over K, and © a non-constant function on C also defined over K. Let ® be the subset of Cx consisting 
of those points P such that »(P)eR. If R ts infinite, then there exists a curve Cy defined over k, 
and a birational transformation T:C,+>C defined over K. If the genus 1s 2, then all but a 
finite number of points of R are images under T of points of Cy,. Df the genus 1s 1, then the points 
of RK lie in a finite number of cosets of 'T(Co,). 


To deal with the absolutely algebraic case, we need a specialization argument. 


THEOREM 4. Let K be a field of finite type over Q, and R a subring of K of finite type 
over Z. Let C be a non-singular curve of genus = 1 defined over K, and let @ be a function in K(C) 
which is not constant. Let R be the subset of Cx consisting of points P such that o(P)eR. Then R 
as finite. 


Proor. We may assume C projective non-singular. Suppose § infinite. Let k 
be the algebraic closure of @ in K. Then by Theorem 3, C is birationally equivalent 
over K to a curve C, defined over &. If the genus of C is 1, we restrict our attention 
to an infinite subset of points of which lie in the same coset of T(C,,). Then, without 
loss of generality, we may assume C=C,, and that we have infinitely many points of C 
in K such that ¢(P)eR, where ¢ is a function on C defined over K. We shall now 
prove our theorem by induction on the dimension of K over Q. 

Let F be a subfield of K containing k, and such that the dimension of K over F is 1. 
There exists a discrete valuation ring 0 of K containing F and R whose residue class 
field E=o/m is finite over F, and such that the reduction 9’ of g mod mis a non-constant 
function 9’: CP (ofthesame degree as). For any point Q of Cx, we get a specialized. 
point Q’ in Cy, and ¢'(Q’)=9(Q)’, using the compatibility of intersections and reduc- 
tions, i.e. formally, using the graphs : 


[T. (Ox PY) PO eo 
the left hand side being Qx@(Q) and the right hand side being Q’xo'(Q’). This 
yields infinitely many points Q’ of C, such that ¢’(Q’) lies in the ring R’, image of R in 
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the homomorphism o-—>o/m. Since E is of finite type over Q,, of dimension one less than 
that of K, and since R’ is still of finite type over Z, this concludes the proof. 


_ Remark. The theorem could also be proved by using Néron’s theorem which 
implies that say for an affine curve f(X, Y)=o of genus >1 with coefficients in R, there 
exists a homomorphism R-R’ of R into a ring R’ contained in a number field such 
that if f’(X, Y)=o is the specialized curve, then its genus is also >1 and the homo- 
morphism R-R’ induces an injection of the points of fin R into those of f’ in R’. 
(See-[11],-Th_-6.) 


Columbia University, New York. 
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